EC2上にJupyterLab環境を作りグラフ描画とS3接続を行う

はじめに

データアナリティクス事業本部のkobayashiです。

先日EC2上にJupyterLabの環境を作る機会が有りましたのでその作業内容をまとめたいと思います。

環境

• Ubuntu Server 20.04 LTS (HVM), SSD Volume Type - ami-0f2dd5fc989207c82 (64 ビット x86)

EC2上にJupyterLab環境を構築する

今回作成するJupyterLabでは

• matplotlibで描画したグラフをmatplotlib widgetでインタラクティブに操作する
• S3上のファイルを扱うといった

要件がありましたのでJupyterLabのインストールに併せて必要なモジュールのインストールも行っていきます。

JupyterLab Documentation — JupyterLab 3.0.6 documentation

JupyterLabのインストールをする

初めにパッケージのアップデートを行い、pipをインストールします。

$ sudo apt update
$ sudo apt install -y python3-pip

次にJupyterLabと分析に必要な最低限のモジュール、matplotlib描画に必要なモジュール、s3への接続に必要なモジュールをインストールします。

$ pip3 install jupyterlab
$ pip3 install numpy pandas matplotlib seaborn scikit-learn ipympl fsspec s3fs

またjupyterをインストールした際にパスを通す必要があるので通します。

$ export PATH="$HOME/.local/bin:$PATH"

matplotlibでグラフ描画を行う際にJupyterのextensionをインストールする必要があります。またその際にversion12以上のNode.jsも要求されるのでインストールします。

aptでnodejsとnpmをインストールし、Nodeのパッケージ管理ツールのnをインストールしたあとに最新の安定版のnodejsを入れ、aptで初めインストールしたnodejsとnpmをアンインストールします。

$ sudo apt install -y nodejs npm
$ sudo npm install n -g
$ sudo n stable
$ sudo apt purge -y nodejs npm

Node.jsがインストールできたのでJupyterのextensionを入れます。

$ jupyter labextension install @jupyter-widgets/jupyterlab-manager
$ jupyter labextension install jupyter-matplotlib

これで必要なモジュールがJupyterLabで使えるようになりましたので次にJupyterLabの設定を行います。

JupyterLabの起動設定とサービス化を行う

JupyterLabを使う際に毎回トークン接続ですと大変ですのでPasswordを設定します。またJupyterLabをサービス化してsystemdで自動起動を行います。

パスワードをハッシュ化してjupyter_notebook_config.jsonに保存します。

$ jupyter notebook password
$ cat /home/ubuntu/.jupyter/jupyter_notebook_config.json
{
  "ServerApp": {
    "password": "sha1:2308c7b108ea:a0544527fddd3ba6baeed2000933333c13eb341a"
  }

パスワードのハッシュ値をJupyterLabの設定ファイルに書き込みます。また併せて起動時の設定を行います。

$ jupyter lab --generate-config
$ vi ~/.jupyter/jupyter_lab_config.py
# ファイルへ追記
c = get_config()
c.IPKernelApp.pylab = 'inline'
c.NotebookApp.ip = '0.0.0.0'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 8888
c.NotebookApp.password = 'sha1:2308c7b108ea:a0544527fddd3ba6baeed2000933333c13eb341a'

上記で設定した内容は上から以下の通りになります。

• matplotlibで描画したものがnotebook上で表示
• すべてのIPから接続許可
• JupyterLab起動時にブラウザを起動しない
• 接続ポートを8888に設定
• JupyterLabへのログインパスワードを設定

続けてJupterLabをサービス化してsystemdで自動起動を行います。

$ sudo vi /etc/systemd/system/jupyter.service

[Unit]
Description = Jupyter Lab

[Service]
Type=simple
PIDFile=/var/run/jupyter-lab.pid
ExecStart=/home/ubuntu/.local/bin/jupyter-lab
WorkingDirectory=/home/ubuntu
User=ubuntu
Group=ubuntu
Restart=always

[Install]
WantedBy = multi-user.target

$ sudo systemctl start jupyter.service
$ sudo systemctl enable jupyter.service 

これで設定は終わりです。

では実際にJupyterLabでグラフの描画とS3への接続を試してみます。

JupyterLabでグラフ描画とS3接続を行う

matplotlibでグラフを描画する

extensionをインストールしてあるのでJupyterLab上でコードを書いて実行するだけです。 matplotlibのデモを実行してみます。

mplot3d example code: contourf3d_demo2.py — Matplotlib 1.2.1 documentation

%matplotlib widget

"""
.. versionadded:: 1.1.0
   This demo depends on new features added to contourf3d.
"""

from mpl_toolkits.mplot3d import axes3d
import matplotlib.pyplot as plt
from matplotlib import cm

fig = plt.figure()
ax = fig.gca(projection='3d')
X, Y, Z = axes3d.get_test_data(0.05)
ax.plot_surface(X, Y, Z, rstride=8, cstride=8, alpha=0.3)
cset = ax.contourf(X, Y, Z, zdir='z', offset=-100, cmap=cm.coolwarm)
cset = ax.contourf(X, Y, Z, zdir='x', offset=-40, cmap=cm.coolwarm)
cset = ax.contourf(X, Y, Z, zdir='y', offset=40, cmap=cm.coolwarm)

ax.set_xlabel('X')
ax.set_xlim(-40, 40)
ax.set_ylabel('Y')
ax.set_ylim(-40, 40)
ax.set_zlabel('Z')
ax.set_zlim(-100, 100)

plt.show()

matplotlib widgetで拡大・縮小・回転を行うなどインタラクティブに操作することができます。

S3上のファイルを扱う

S3上にあるcsvファイルをpandasのread_csvメソッドで読み込みます。

その際に対象となるファイルへのアクセス権を用意する必要がありますが、これはJupyterLabを動かしているEC2に対象となるファイルを扱えるようなロールを割り当てることでpandasのread_csvメソッドでS3上のファイルを扱えます。したがって事前準備としてIAMロールを作成しEC2に割り当てておきます。

準備が整ったらコードを書いて実行します。

import pandas as pd

df = pd.read_csv('s3://{バケット名}/13TOKYO_utf8.csv')
df

S3上のcsvファイルを取得できていることが確認できます。

まとめ

EC2上にJupyterLab環境を構築し、matplotlibでグラフを描画したり、 S3上のファイルを扱ってみました。特にハマる箇所もなくスムーズに環境構築が行えました。

最後まで読んで頂いてありがとうございました。